- 综合排序
- 最热优先
- 最新优先
- 来自专栏炼丹笔记
No Fine-Tuning, Only Prefix-Tuning
炼丹笔记干货 作者：十方 说起fine-tuning，大家再熟悉不过了，NLP和CV领域基本都是各种预训练模型了。 使用预训练模型最重要的一步就是fine-tuning，因为下游任务是多种多样的，所以每种下游任务都要有个副本，并且finetune会改变所有的参数。 这篇论文<Prefix-Tuning:Optimizing Continuous Prompts for Genreration>就提出一个轻量级的替代方式，使得语言模型参数固定，优化一个较小的特定任务的向量 如下图所示: Prefix-Tuning prefix-tuning在生成式任务中可以替代fine-tuning，方法就是在自回归模型前加个prefix,z=[PREFIX;x;y]或者再encoder 参考文献 1、Prefix-Tuning:Optimizing Continuous Prompts for Genreration https://www.aminer.cn/pub/5ff4336291e01130648dc2f4
1.1K40编辑于 2022-01-05 - 来自专栏机器学习实践二三事
fine-tuning的二三事
考虑到这样的几个事实: 通常我们自己的数据集都不会大(<1w) 从头开始训练耗时 解决方法就是fine-tuning. 固定前几层的参数，只对最后几层进行fine-tuning Pretrained models. pre-trained model作为初始化，fine-tuning整个网络 数据集小，相似度低 小数据集没有办法进行多层或者整个网络的fine-tuning，建议保持前几层不动，fine-tuning Caffe中如何进行fine-tuning Caffe做fine-tuning相对tensorflow很简单，只需要简单修改下配置文件就行了. (3) 训练 其实就已经改好了，是不是很简单，按照之前标准化的训练测试就好了 知乎上fine-tuning的介绍上有更加详细的介绍，可以移步去看.
792100发布于 2018-01-02 - 来自专栏我还不懂对话
Fine-tuning过时啦，NLG生成任务如何Tuning？
论文原文：Prefix-Tuning: Optimizing Continuous Prompts for Generation， 2021，不到一年的文章，引用已经两百多了，你说呢。 learning，还是越来越火的prompt，fine-tuning 已经out of state了。 同时，最近也有lightweight fine-tuning，即固定语言模型大部分参数，微调2-4%任务相关的参数，但是作者认为还是太多。 [image-20220516000951329.png]如图，prefix-tuning每个任务有少量prefix的参数，约占整体0.1%，远小于lightweight fine-tuning的2-4% 其中prefix-tuning是PREFIX; x; y形式，infix-tuning即x; INFIX; y下过如下图，prefix都是最优的。
1.5K60编辑于 2022-09-06 - 来自专栏云时之间
深度学习的fine-tuning过程
5) 最后是使用caffe的工具将fine-tuning的网络跑起来进行训练。 ?
1.6K60发布于 2018-04-11 RAG VS Fine-Tuning模型微调详解
为了解决这些问题，RAG和Fine-Tuning技术应运而生。 Fine-Tuning的功能点：定制化：通过Fine-Tuning，预训练模型可以更好地适应企业的特定知识领域和语言风格，生成更加准确且上下文一致的答案。 Fine-Tuning的优缺点：优点：高定制化：通过Fine-Tuning，模型可以更好地适应特定任务或领域，生成更加准确和上下文一致的答案。 Fine-Tuning的底层原理：Fine-Tuning的底层原理基于迁移学习，它通过对预训练好的大型模型进行小规模的参数调整，使其快速适应新任务或特定领域。 Fine-Tuning的Java代码模拟：由于Fine-Tuning涉及深度学习模型的参数调整，我们无法在Java中直接实现模型的训练过程。
49021编辑于 2024-11-22- 来自专栏架构驿站
Fine-Tuning Vs RAG ，该如何选择？
— 01 —高效赋能 LM 的利器—Fine-Tuning 什么是 Fine-Tuning （微调）？ — 03 —评估 Fine-Tuning & RAG 5 要素解析 在评估和应用 Fine-Tuning （微调）与 RAG（检索增强生成）等语言 AI 技术时，我们需要全面审视和深入权衡诸多关键因素 反观传统的 Fine-Tuning （微调）方式，其知识获取能力受到了诸多束缚。 相比之下， Fine-Tuning （微调）技术可以在很大程度上提高小型模型的效率和性能。 这是 Fine-Tuning （微调）技术的一大优势。 与 RAG 系统需要依赖较大模型的限制相比， Fine-Tuning （微调）可以充分利用小型模型的优势。
47610编辑于 2024-11-01 - 来自专栏技术圈
Universal Language Model Fine-tuning for Text Classification
参考论文：Universal Language Model Fine-tuning for Text Classification 迁移学习最早是应用于机器视觉方向的，迁移学习是从general 这篇论文提出的预训练方法和之前的迁移学习中微调方法在nlp中的不同点如下，这个在ELMO中也提到过： 使用task数据fine-tuning词向量（如glove这种），只更改模型的第一层 Discriminative fine-tuning，即对layer1，layer2和layer3采用不同的学习速率,η(l−1) =ηl/2.6 ,ηl为第l层的学习率。 为了避免全部fine-tuning导致语言模型对之前学到的general知识的遗忘，引入 Gradual unfreezing，从后往前（从layer3到layer1方向）逐步的添加。 BPTT for Text Classification，为了当输入文本很长时，可以较好的fine-tuning分类器，将文档拆成几个batch，每个batch的长度是一致的，哪一个batch促成了最后的
77020发布于 2019-08-21 - 来自专栏Datawhale专栏
大模型微调（Fine-Tuning）全流程思考
比如如果没有好好构建数据集，最后发现微调模型效果不佳是数据集的问题，就事倍功半了。
1.8K10编辑于 2024-12-20 fine-tuning-OpenAI API系统快速入门
如果事件流因任何原因中断，您可以通过运行以下命令来恢复它： openai api fine_tunes.follow -i <YOUR_FINE_TUNE_JOB_ID> 作业完成后，它应显示微调模型的名称 # List all created fine-tunes openai api fine_tunes.list # Retrieve the state of a fine-tune. -i <YOUR_FINE_TUNE_JOB_ID> # Cancel a job openai api fine_tunes.cancel -i <YOUR_FINE_TUNE_JOB_ID> 使用微调模型 (FINE_TUNED_MODEL) 准备数据集 微调是一种强大的技术，用于创建特定于您的用例的新模型。 您可以下载以下文件： OpenAI CLI： openai api fine_tunes.results -i <YOUR_FINE_TUNE_JOB_ID> 卷曲： curl https://api.openai.com
44110编辑于 2025-04-05- 来自专栏人工智能
Fine-Tuning 详解：理论与实践的结合
Fine-Tuning既有理论上的深厚基础，也在实践中被广泛应用，以实现更好的模型性能和更高效的资源利用。接下来将深入探讨什么是Fine-Tuning，以及它的实际用途。 Fine-Tuning的基本概念Fine-Tuning是在一个预训练模型的基础上进行优化的过程。预训练模型通常是在大规模数据集上经过长时间训练的，这使得它学会了丰富的特征表示。 Fine-Tuning的基本思想是分阶段训练神经网络。 Fine-Tuning的优势和挑战优势高效利用计算资源：通过使用预训练模型进行Fine-Tuning，可以显著减少模型训练的时间和所需的计算资源。 自动化Fine-Tuning：AutoML和NAS（神经架构搜索）等自动化机器学习方法也可以应用于Fine-Tuning过程，以实现自动化的超参数调优和层的选择，减少人工的参与，提高Fine-Tuning
12310编辑于 2026-03-07 - 来自专栏素质云笔记
SSD+caffe︱Single Shot MultiBox Detector 目标检测+fine-tuning（二）
教程其实就是一种fine-tuning，在VGG基础上进行训练SSD框架。
2.4K100发布于 2018-01-02 - 来自专栏对白的算法屋
清华推出Prompt-tuning开源工具包，取代传统的微调fine-tuning
一直以来，传统的微调（fine-tuning范式）一直是驱动大模型的“基本操作”。在微调范式中，我们需要在预训练模型上引入额外的目标函数来，从而将大模型适配到各类下游任务中。 PTR: Prompt Tuning with Rules for Text Classification[J]. arXiv preprint arXiv:2105.11259, 2021. 3. Prompt-learning for fine-grained entity typing[J]. arXiv preprint arXiv:2108.10604, 2021. 5. The power of scale for parameter-efficient prompt tuning[J]. arXiv preprint arXiv:2104.08691, 2021. 6 Prefix-tuning: Optimizing continuous prompts for generation[J]. arXiv preprint arXiv:2101.00190, 2021
1.4K30编辑于 2022-04-01 - 来自专栏一个正经的测试
什么是微调(fine-tuning)? 如何微调GPT-3.5 模型?
五星上将麦克阿瑟曾经说过：“在懂微调的测试工程师面前，我就是个弟弟” Fine-tuning (微调) 是一个可以有效让ChatGPT 输出符合我们预期的方法。 一、什么是微调(Fine-tuning)? 有什么好处? 在机器学习领域当中，微调(Fine-tuning) 是指在已经训练好的模型基础上，进一步调整，让你模型的输出能够更符合你的预期。 然后喂入Fine-tuning API 就可以完成了。这边指的成对资料，是输入搭配输出， 输入「亚洲最帅的三个男人是谁?」 二、如何使用Fine-tuning API? 我们可以透过OpenAI 提供的Fine-tuning API 来进行微调，以下为中文讲解，想了解更多可以参考OpenAI 的官方文件。 目前Fine-tuning API 接受JSONL 的格式如下。
4.3K32编辑于 2024-01-22 - 来自专栏陶士涵的菜地
openai模型个性化训练Embedding和fine-tuning区别
这种情况下通常有两种办法，一种是微调（fine-tuning），一种是嵌入（embedding）。
1.5K20编辑于 2023-05-11 - 来自专栏AI图像处理
如何在Stable Diffusion上Fine Tuning出自己风格的模型
那么，如果您想要生成特定类型的图像，除了花很长时间制作复杂的文本提示（prompt）之外，还有另一种方法是微调（Fine Tuning）图像生成模型本身。 Fine Tuning是一种常见的做法，即把一个已经在广泛而多样的数据集上预训练过的模型，再在你特别感兴趣的数据集上再训练一下。
25.3K2810编辑于 2022-10-24 - 来自专栏我的充电站
文献阅读：Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning
文献阅读：Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning 1. Top-K Tuning 3. Mixout 4. RecAdam 5. R3F 3. 优化方案 1. ChildTuning-F 2. ChildTuning-D 4. Top-K Tuning 这个方法来源于文章：Parameter-Efficient Transfer Learning for NLP Top-K tuning的方法让我有一种无比的熟悉感，因为我当年就是这么干的 Tuning策略横向对比 然后，我们将ChildTuning与其他的finetune策略合到一起进行横向比较，得到结果如下： 可以看到，结果依然很稳，说明ChildTuning至少在tuning效果上是优于其他 tuning策略的。
61020编辑于 2022-04-13 - 来自专栏大鹅专栏：大数据到机器学习
使用transformer BERT预训练模型进行文本分类 及Fine-tuning
Bert 的论文中对预训练好的 Bert 模型设计了两种应用于具体领域任务的用法，一种是 fine-tune（微调） 方法，一种是 feature extract（特征抽取） 方法。 fine tune（微调）方法指的是加载预训练好的 Bert 模型，其实就是一堆网络权重的值，把具体领域任务的数据集喂给该模型，在网络上继续反向传播训练，不断调整原有模型的权重，获得一个适用于新的特定任务的模型 附录 尝试fine tune fine tune 的使用是具有一定限制的。 所以，如果我们要来 fine-tune 做任务，也是这个思路：首先对原有模型做适当构造，一般仅需加一输出层完成任务。 类似以上这些任务的设计，可以将预训练模型 fine-tuning 到各类任务上，但也不是总是适用的，有些 NLP 任务并不适合被 Transformer encoder 架构表示，而是需要适合特定任务的模型架构
13.1K21发布于 2021-07-30 - 来自专栏大鹅专栏：大数据到机器学习
使用transformer BERT预训练模型进行文本分类 及Fine-tuning
Bert 的论文中对预训练好的 Bert 模型设计了两种应用于具体领域任务的用法，一种是 fine-tune（微调） 方法，一种是 feature extract（特征抽取） 方法。 fine tune（微调）方法指的是加载预训练好的 Bert 模型，其实就是一堆网络权重的值，把具体领域任务的数据集喂给该模型，在网络上继续反向传播训练，不断调整原有模型的权重，获得一个适用于新的特定任务的模型 附录 尝试fine tune fine tune 的使用是具有一定限制的。 所以，如果我们要来 fine-tune 做任务，也是这个思路：首先对原有模型做适当构造，一般仅需加一输出层完成任务。 类似以上这些任务的设计，可以将预训练模型 fine-tuning 到各类任务上，但也不是总是适用的，有些 NLP 任务并不适合被 Transformer encoder 架构表示，而是需要适合特定任务的模型架构
4.9K41发布于 2021-07-30 - 来自专栏Python进阶之路
了解大语言模型的参数高效微调（Parameter-Effcient Fine-Tuning）
自然语言处理目前存在一个重要的范式：大规模预训练一般领域数据，并针对特定任务或领域进行微调（Fine-tuning）。 Prompt-tuning 为每个任务定义了独特的 Prompt，并将其与数据拼接作为输入。在此过程中，预训练模型被冻结以进行训练。 P-Tuning 方法旨在解决大语言模型中 Prompt 构造方式对下游任务效果的重大影响问题。 P-Tuning 将 Prompt 转换为可学习的 Embedding 层，通过 MLP+LSTM 处理，提高了模型的适应性和性能。 此外，P-Tuning v2 还引入了多任务学习和回归传统分类标签范式，提高了训练效率和模型的通用性。----
2.1K00编辑于 2024-05-25 - 来自专栏AIGC新知
OpenAI开放Fine-tuning 微调API，透露扩展自定义模型计划
OpenAI近期宣布了对其微调API的一系列改进，并扩展了其定制模型计划，旨在帮助开发者提高模型性能，减少延迟，提升准确性，并降低成本。这些改进包括了对GPT-3.5模型的自助微调API的增强，该API自2023年8月推出以来，已被数千家组织用来训练数十万个模型。
40910编辑于 2024-10-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号